联合学习使不同的各方能够在服务器的编排下协作建立全球模型,同时将培训数据保留在客户的设备上。但是,当客户具有异质数据时,性能会受到影响。为了解决这个问题,我们假设尽管数据异质性,但有些客户的数据分布可以集群。在以前的方法中,为了群集客户端,服务器要求客户端同时发送参数。但是,在有大量参与者可能有限的参与者的情况下,这可能是有问题的。为了防止这种瓶颈,我们提出了FLIC(使用增量聚类的联合学习),其中服务器利用客户在联合培训期间发送的客户发送的更新,而不是要求他们同时发送参数。因此,除了经典的联合学习所需的内容外,服务器与客户之间没有任何其他沟通。我们从经验上证明了各种非IID案例,我们的方法成功地按照相同的数据分布将客户分组分组。我们还通过研究其能力在联邦学习过程的早期阶段对客户进行分配的能力来确定FLIC的局限性。我们进一步将对模型的攻击作为数据异质性的一种形式,并从经验上表明,即使恶意客户的比例高于50 \%,FLIC也是针对中毒攻击的强大防御。
translated by 谷歌翻译
In intensively managed forests in Europe, where forests are divided into stands of small size and may show heterogeneity within stands, a high spatial resolution (10 - 20 meters) is arguably needed to capture the differences in canopy height. In this work, we developed a deep learning model based on multi-stream remote sensing measurements to create a high-resolution canopy height map over the "Landes de Gascogne" forest in France, a large maritime pine plantation of 13,000 km$^2$ with flat terrain and intensive management. This area is characterized by even-aged and mono-specific stands, of a typical length of a few hundred meters, harvested every 35 to 50 years. Our deep learning U-Net model uses multi-band images from Sentinel-1 and Sentinel-2 with composite time averages as input to predict tree height derived from GEDI waveforms. The evaluation is performed with external validation data from forest inventory plots and a stereo 3D reconstruction model based on Skysat imagery available at specific locations. We trained seven different U-net models based on a combination of Sentinel-1 and Sentinel-2 bands to evaluate the importance of each instrument in the dominant height retrieval. The model outputs allow us to generate a 10 m resolution canopy height map of the whole "Landes de Gascogne" forest area for 2020 with a mean absolute error of 2.02 m on the Test dataset. The best predictions were obtained using all available satellite layers from Sentinel-1 and Sentinel-2 but using only one satellite source also provided good predictions. For all validation datasets in coniferous forests, our model showed better metrics than previous canopy height models available in the same region.
translated by 谷歌翻译
Machine learning has emerged recently as a powerful tool for predicting properties of quantum many-body systems. For many ground states of gapped Hamiltonians, generative models can learn from measurements of a single quantum state to reconstruct the state accurately enough to predict local observables. Alternatively, kernel methods can predict local observables by learning from measurements on different but related states. In this work, we combine the benefits of both approaches and propose the use of conditional generative models to simultaneously represent a family of states, by learning shared structures of different quantum states from measurements. The trained model allows us to predict arbitrary local properties of ground states, even for states not present in the training data, and without necessitating further training for new observables. We numerically validate our approach (with simulations of up to 45 qubits) for two quantum many-body problems, 2D random Heisenberg models and Rydberg atom systems.
translated by 谷歌翻译
彼此接触的任何两个物体都会仅仅是由于重力或机械接触而引起的力,例如机器人手臂抓住一个物体,甚至是我们膝关节处的两个骨头之间的接触。自然测量和监视这些接触力的能力允许从仓库管理(基于重量检测错误包装)到机器人技术(使机器人臂的抓地力与人类皮肤一样敏感)和医疗保健(膝关节植入物)的大量应用。设计一个无处不在的力传感器是充满挑战的,该传感器可自然地用于所有这些应用。首先,传感器应足够小,以适合狭窄的空间。接下来,我们不想铺设笨重的电缆来读取传感器的力值。最后,我们需要进行无电池设计以满足体内应用程序。我们开发了WiforCesticker,这是一种无线,无电池,类似贴纸的力传感器,可以在任何表面上都可以无处不在,例如所有仓库包装,机器人手臂和膝关节。 WiforCesticker首先设计一个$ 4 $ 〜mm〜 $ \ $ \ times $〜$〜$ 2 $ 〜mm〜 $ \ $ \ times $〜$〜$〜$ 0.4 $〜毫米电容传感器设计,配备了$ 10 $〜$〜$〜$〜$〜$〜$〜$ 〜mm〜mm 〜mm 〜mm 〜mm在灵活的PCB基材上设计。其次,它引入了一种新的机制,可以通过将传感器与COTS RFID系统插入传感器,从而无线读取器无线读取器可以通过无线读取器读取力信息。该传感器可以在多个测试环境中检测到$ 0 $ -6 $ 〜n的力量,感应精度为$ <0.5 $ 〜n,并在传感器上使用超过10,000美元的$ 10,000 $变化的力级按下。我们还通过设计传感器展示了两个应用程序案例研究,称量仓库包和骨接头施加的传感力。
translated by 谷歌翻译
我们提供了一种差异化私有算法,用于同时生成多个任务的合成数据:边际查询和多任务机器学习(ML)。我们算法中的一个关键创新是能够直接处理数值特征的能力,与许多相关的先验方法相反,这些方法需要首先通过{binning策略}将数值特征转换为{高基数}分类特征。为了提高准确性,需要较高的分子粒度,但这会对可伸缩性产生负面影响。消除对套在一起的需求使我们能够产生合成数据,以保留大量统计查询,例如数值特征的边际和条件线性阈值查询。保留后者意味着在特定半空间上方的每个类标记的点的比例在实际数据和合成数据中都大致相同。这是在多任务设置中训练线性分类器所需的属性。我们的算法还使我们能够为混合边缘查询提供高质量的合成数据,这些数据结合了分类和数值特征。我们的方法始终比最佳可比技术快2-5倍,并在边缘查询和混合型数据集的线性预测任务方面提供了显着的准确性改进。
translated by 谷歌翻译
随着深度学习算法在时间序列分类中的应用越来越多,尤其是在高风化场景中,解释这些算法的相关性成为关键。尽管时间序列的可解释性研究已经增长,但从业者的可访问性仍然是一个障碍。没有统一的API或框架,使用的可解释性方法及其可视化的使用方式多样。为了缩小这一差距,我们介绍了TSInterpret易于扩展的开源Python库,用于解释将现有解释方法结合到一个统一框架中的时间序列分类器的预测。库功能(i)最先进的可解释性算法,(ii)公开了统一的API,使用户能够始终如一地使用解释,并为每种说明提供合适的可视化。
translated by 谷歌翻译
随着我们远离数据,预测不确定性应该增加,因为各种各样的解释与鲜为人知的信息一致。我们引入了远距离感知的先验(DAP)校准,这是一种纠正训练域之外贝叶斯深度学习模型过度自信的方法。我们将DAPS定义为模型参数的先验分布,该模型参数取决于输入,通过其与训练集的距离度量。DAP校准对后推理方法不可知,可以作为后处理步骤进行。我们证明了其在各种分类和回归问题中对几个基线的有效性,包括旨在测试远离数据的预测分布质量的基准。
translated by 谷歌翻译
每天在Spotify上发行超过60,000首歌曲,听众的注意力很大。在这方面,不能低估着迷人和诱人的封面艺术的重要性,因为它与歌曲的角色和艺术家的身份深深地纠缠在一起,并且仍然是引导人们发现音乐的最重要的门户之一。但是,设计封面艺术是一个非常有创造力,漫长甚至昂贵的过程,这可能令人生畏,尤其是对于非专业艺术家而言。因此,我们提出了一个新颖的深度学习框架,以生成以音频功能为指导的封面艺术。受VQGAN-CLIP的启发,我们的方法具有很高的灵活性,因为可以轻松更换单个组件而无需任何重新训练。本文概述了我们模型的架构细节,并讨论了它们从中出现的优化挑战。更具体地说,我们将利用遗传算法来克服不良的局部最小值和对抗性示例。我们发现我们的框架可以为大多数流派生成合适的封面,并且视觉功能适应了音频功能的变化。鉴于这些结果,我们认为我们的框架为音频引导的视觉生成任务中的扩展和更高级应用铺平了道路。
translated by 谷歌翻译
在开源存储库中发现的真正错误修复似乎是学习本地化和修复实际错误的理想来源。但是,缺乏大规模的错误修复集合使过去难以有效利用过去的较大神经模型的真正错误修复。相比之下,人工错误 - 通过突变现有源代码产生的人为错误可以轻松地以足够的规模获得,因此在培训现有方法时通常是首选的。尽管如此,在面对真正的错误时,经过对人造错误的培训的本地化和维修模型通常在表现不佳。这就提出了一个问题,是否在实际错误修复程序上培训的错误本地化和维修模型在本地化和维修实际错误方面更有效。我们通过引入Realit,这是一种预先培训和预先计算方法,以有效地学习从真正的错误修复中进行本地化和修复真实的错误来解决这个问题。 Realit首先是在传统突变操作员产生的大量人造错误上进行的,然后在较小的一组实际错误修复程序上进行了微调。微调不需要对学习算法进行任何修改,因此可以轻松地在各种培训方案中用于错误定位或维修(即使实际培训数据很少)。此外,我们发现,对使用真实错误修复的培训在经验上几乎使现有模型在实际错误上的本地化性能翻了一番,同时维护甚至改善了维修性能。
translated by 谷歌翻译
在许多实际情况下,随着时间的推移,用于训练机器学习模型的数据将获得。但是,神经网络模型努力不断学习新概念,而不会忘记过去学到了什么。这种现象被称为灾难性的遗忘,由于实际的约束,通常很难预防,例如可以存储的数据量或可以使用的有限计算源。此外,从头开始培训大型神经网络,例如变形金刚,非常昂贵,需要大量的培训数据,这可能在感兴趣的应用程序领域中不可用。最近的趋势表明,基于参数扩展的动态体系结构可以在持续学习中有效地减少灾难性遗忘,但是这种需要复杂的调整以平衡不断增长的参数,并且几乎无法在任务中共享任何信息。结果,他们难以扩展到没有大量开销的大量任务。在本文中,我们在计算机视觉域中验证了一种最新的解决方案,称为适配器的自适应蒸馏(ADA),该解决方案是为了使用预先训练的变压器和适配器在文本分类任务上进行连续学习。我们在不同的分类任务上进行了经验证明,此方法在不进行模型或增加模型参数数量的情况下保持良好的预测性能。此外,与最先进的方法相比,推理时间的速度明显更快。
translated by 谷歌翻译